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(57) Abstract 



The invention relates to a vehicle navigational system with a radar arrangement and an image sensor arrangement. It is proposed to 
derive target parameters separately from the receiving signals of the two arrangements and to convey them to data merging means to link 
the separately derived parameters. Linking can be carried out at different levels of digital signal processing. 

(57) Zusammenfassung 

Fur ein Fahrzeug-Navigationssystem mil einer Radaranordnung und einer Bildsensoranordnung wird vorgeschlagcn, aus den 
Empfangssignalen der beiden Anordnungen getrennt Zielparameter abzuleiten und einer Datenfusionseinrichtung zur Verknupfung 
der getrennt abgeleiteten Parameter zuzufUhren. Die VerknOpfung kann auf verschiedenen Ebenen der digitalen Signal verarbeitung 
vorgenommen werden. 
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Beschreibuna 



Fahrzeuq-Naviqationssystem und Sicmalverarbeitunqs- 
verfahren fur ein solches Naviqationssvstem 

Die Erfindung betrifft ein Fahrzeug-Navigationssystem und 
5 ein Signalverarbeitungsverfahren fur ein solches Navi- 
gationssystem . 

Fahrzeug-Navigationssysteme mit Einsatz unterschiedlicher 
Techniken und Anwendungsbeispiele sind beispielsveise an- 
10 gegeben in "Kraf tf ahrzeugtechnik" 1993, Abschnitt Technik- 
Lexikon. In Automobiltechnische Zeitschrift 90 (1988), S. 
429-436 ist ein Convoy-Leitverkehr als Anwendung fur Kfz- 
Navigationssysteme beschrieben. 
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Fur den Einsatz von Bildsensoranordnung , z.B, als Videoka- 
mera, mit automatischer Bildauswertung zur Detektion und 
Klassif ikation von Form, Farbe, Richtung, Aspektwinkel 
etc. interessierender Objekte und der Komplexitat der be- 
5 obachteten Szene der Verarbeitungsaufwand in einer zuge- 
ordneten Bild-Auswerteeinrichtung hoch. 

Der vorliegenden Erf indung liegt die Aufgabe zugrunde', ein 
vorteilhaftes Fahrzeug-Navigationssystem anzugeben, das 
10 mit hoher Effizienz zuverlassige Umgebungsinf ormationen 
liefert, sowie ein Signalverarbeitungsverf ahren fur ein 
solches Navigationssystem. 

Die Erf indung ist im Patentanspruch 1 beschrieben. Die Un- 
15 teranspruche enthalten vorteilhafte Ausgestaltungen und 

Weiterbildungen der Erf indung. Ein Signalverarbeitungsver- 
fahren fur ein solches Navigationssystem ist im Pa- 
tentanspruch 7 beschrieben. 

20 Das erf indungsgemaBe System umfaBt zum einen eine Radaran- 
ordnung mit zugehdrigen Radar-Auswerteeinrichtungen, wel- 
che aus den Radar-Erapf angssignalen erste Zielparameter ab- 
leiten, und zum anderen eine Bildsensoranordnung mit zuge- 
horigen Bild-Auswerteeinrichtungen, welche aus den Bild- 

25 sensor-Empf angssignalen zweite Zielparameter ableiten. 
Weitere Sensoranordnungen konnen erganzend hinzugefiigt 
werden. 

Die Radaranordnung und die Bildsensoranordnung iiberwachen 
30 einen gemeinsamen Raumwinkelbereich. Die Radaranordnung 
zeigt dabei ein erstes Raumwinkel-Auf losungsvermogen von 
z.B. 8-32 Winkelschritten zu je > 0.75 Grad im Azimut und 
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1-8 Winkelschritte zu je > 3 Grad in der Elevation. Der- 
selbe Winkelbereich ist bei der Bildsensoranordnung mit 
einem zweiten im Regelfall hoheren Raumwinkel-Auf iosungs- 
vermogen auf ein Bildpunktarray von 512 x 512 Pixeln abge- 
5 bildet. Jedem Raurawinkel-Rasterelement der Radaranordnung 
ist damit geometrisch jeweils eine Mehrzahl von Bildpixeln 
der Bildsensoranordnung zuzuordnen. Die Weiterverarbeitung 
der Zielparameter in einer Datenf usionseinrichtung erfolgt 
vorzugsweise in der Raumwinkelauf losung der Bildsensora- 
10 nordung, wobei fur pixelweise Zusammenfiihrung von Parame- 
terverten die Werte aus einem Radar-Rasterelement jeweils 
in alle zugeordneten Pixel ubernommen wird. Fur den Fall, 
daB in einer Stufe der Signalverarbeitung von der hohen 
zweiten Raumwinkel-Auf losung der Bildsensor-Anordnung zu 
15 einer geringeren Raumwinkel-Auf losung ubergegangen wird, 
konnen die Werte von dann zusammenzuf assenden Pixeln vor- 
zugsweise durch statistische Verfahren wie Mittelwertbil- 
dung, Median etc. in neue Werte iaberfuhrt werden. Fur die 
geometrische Zuordnung verschiedener Raumwinkel-Auf losun- 
2 0 gen ist erf orderlichenf alls eine Vorverarbeitung wie z.B. 
Ausgleich von Bildverzerrungen und Parallelaxenf ehlem, 
Hohenkorrektur, GirteraBgleich etc. durchzufuhren. 

Fiir die Radaranordnung und die Bildsensoranordnung konnen 
25 an sich bekannte Anordnungen eingesetzt werden. Die Raum- 
winkel-Auf losung kann bei der Radaranordnung in an sich 
bekannter Weise durch Schwenken eines Richtdiagrairuns oder 
mittels eines Sensorarrays mit festem Diagrammf acher Oder 
Zwischenf ormen erzielt werden. Bevorzugt wird eine Anord- 
30 nung mit einem Sensorarray und einer f okussierenden Vor- 
richtung wie Spiegel oder Linse. Solche Radaranordnungen 
sind auch als bildgebende Radaranordnungen bezeichnet. Fur 
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die Bildsensoranordnung kommt insbesondere eine Kamera, 
evtl^ in Verbindung mit Beleuchtungseinrichtungen, insbe- 
sondere Inf rarot-Laserbeleuchtung zum Einsatz. 

5 Die Verarbeitung der Empf angssignale und der daraus in 
verschiedenen Stadien der Auswertung abgeleiteten Daten 
erfolgt bevorzugt digital unter Verwendung eines oder raeh- 
rerer Prozessoren. 

10 Die Verkniipfung der aus den Empf angssignalen abgeleiteten 
Zielparameter kann an verschiedenen Stellen des Auswerte- 
prozesses erfolgen, woraus je nach gewahlter Variante die 
fur die Auswertung anfallenden Aufgaben auf die Radar-Aus- 
werteeinrichtungen und die Bild-Auswerteeinrichtungen an- 

15 dererseits verschieden verteilt sind. 

Eine erste vorteilhafte Ausfuhrungsf orm sieht vor, daB die 
Verknupfung auf niedriger Verarbeitungsebene mit nur ge- 
ringem Auswerteeinsatz in den Auswerteeinrichtungen er- 

20 folgt, indem z.B. die Radar-Auswerteeinrichtungen aus den 
Radar-Empfangssignalen in der fur die Radaranordnung gege- 
benen Raumwinkelauf losung Relativgeschwindigkeit und Ent- 
fernung sowie ggf. weitere GroBen wie Depolarisationsgrad 
etc. von detektierten Zielen, die Bild-Auswerteeinrichtun- 

25 gen pixelweise Helligkeit und ggf. Farbe als Zielparameter 
bestimmen und die so bestimmten GroBen in der Datenfusi- 
onseinrichtung in der zur weiteren Verarbeitung vorgese- 
henen Raumwinkel-Auf losung winkelsegmentweise zusammenge- 
faBt werden, z.B. als Parametervektor mit Komponenten Re- 

30 lativgeschwindigkeit, Entfernung, Helligkeit, Farbe. Diese 
Parametervektoren dienen dann als verknupfte Basisdaten 
fur eine Weiterverarbeitung, die insbesondere eine Ziel- 
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klassif ikation z.B. rait Unterscheidung der Klassen Hinder- 
nis, vorausf ahrendes Fahrzeug, Fahrbahnrand , Verkehrszei- 
chen etc. beinhaltet. Aus der bei der Klassif ikation fest- 
gestellten Zielklasse konnen dann in an sich iiblicher 
5 Weise weitere MaBnahmen abgeleitet werden. Durch die Ver- 
kniipfung der Parameter von den getrennten Auswerteeinrich- 
tungen liegt der Klassif ikation (oder einer anderen Aus- 
wertung) ein umf angreicher und durch die Spezialisierung 
der verschiedenen Anordnungen auf die einzelnen Parameter 

10 praziser Datensatz vor, der eine verlafiliche Klassif ika- 
tion ermoglicht . In der Datenfusionseinrichtung kann gemaB 
einer vorteilhaften Weiterbildung die weitere Verarbeitung 
von Parametern aus den Bild-Auswerteeinrichtungen auf die 
Raumwinkelausschnitte beschrankt werden , in denen von der 

15 Radaranordnung Zielechosignale detektiert werden. Somit 
kann im Regelfall der Auf wand zur Verarbeitung der Emp- 
fangssignale der Bildsensoranordnung erheblich verringert 
werden. Nahere Raximwinkelvimgebungen solcher Raumwinkel 
ausschnitte konnen mit berucksichtigt werden. Hierdurch 

2 0 kann dem Umstand Rechnung getragen werden, daB sich Radar- 

signale ref lektierende Bereiche und fur die Bildanalyse 
aussagekraftige Bereiche von Objekten haufig nicht genau 
iiberdecken, z.B. bei der Fahrbahnranderkennung weiBe 
Streifen auf dem Fahrbahnbelag als deutliches optisches 
25 Signal und der weiter entfernt liegende Belagrand als in 
der Radaranordnung detektierter Rand. 

GemaB einer anderen vorteilhaften Ausf iihrungsf orm werden 
die MeBgroBen aus den Empf angssignalen der verschiedenen 

3 0 Anordnungen bereits in den getrennten Auswerteeinrichtun- 

gen zu Objekten verknupft, wofur vorzugsweise Nachbar- 
schaftsvergleiche iiber die ungefahre Gleichheit von MeB- 
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groBen angestellt und zusamraenhangende Gebiete gebildet 
werdcn. Von den getronnten Auswerteeinrichtungen werden 
dann bevorzugt reduzierte Datensatze als Parameter der Ob- 
jekte wie z.B. Schwcrpunkt, mittlere Relativgeschwindig- 
5 keit, betroffener Raumwinkelausschnitt etc. an die Daten- 
f usionseinrichtung weitergegeben, velche richtungsselektiv 
die Objektparameter verkniipft. Die Verkniipfung kann dabei 
auch ergeben, daft einem von den einen Auswerteeinrichtun- 
gen, z.B. Radar-Auswerteeinrichtungen, bestimmten Objekt 

10 keine Ob jekte oder mehrere Ob jekte der anderen Auswerte- 
einrichtungen, z.B. Bild-Auswerteeinrichtungen, zuzudrdnen 
sind. Auch in dieser Ausf iihrungsf orm kann die Objektbil- 
dung in den rechenintensiveren Bild-Auswerteeinrichtungen 
nach MaBgabe der Zielentdeckungen in den Radar-Auswerte- 

15 einrichtungen auf bestimmte Raumwinkelausschnitte be- 
schrankt werden. 

Eine weitere vorteilhafte Ausf uhrungsf orm sieht vor, be- 
reits in den getrennten Auswerteeinrichtungen ein Vorklas- 

20 sifikation von Zielen allein aufgrund der Empf angssignale 
der jeweils zugeordneterL^Anordnung durchzufuhren und die 
Vorklassif izierungsergebnisse in der Datenfusionseinrich- 
tung vorzugsweise wiederum richtungsselektiv zu verknup^ 
fen. Vorteilhaf terweise werden die Vorklassif izierungser- 

25 gebnisse bei der Verkniipfung zu einer abschlieBenden Klas- 
senzuordnung mit einem GutemaB gewichtet, welches eine 
Glaubwurdigkeit der in verschiedenen Klassen vorgenommenen 
Schatzung wiedergibt. Hierdurch kann z.B. beriicksichtigt 
werden, daB eine bestimmte Zielklasse mittels der Radaran- 

30 ordnung wesentlich zuverlassiger erkannt wird als mittels 
der Bildsensoranordnung . Hierzu konnen z.B. die in der 
Vorklassif ikation zu den verschiedenen Klassen ennittelten 
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Wahrscheinlichkeiten mit anordnungs- und klassenspezif isch 
vorgegebenen Faktoren bei der Verkniipfung multipliziert 
werdcn. GemaB einer anderen Variante konnen die Vorklassi- 
f ikationsergebnisse der j eweil igen Auswerteeinrichtung 
nach der statistischen Verteilung der Wahrscheinlichkeiten 
in ihrer Glaubwurdigkeit bevorzugt werden, z.B. in der 
Art, daB bei annahernder Gleichverteilung der Wahrschein- 
lichkeiten zu den verschiedenen Zielklassen eine insgesamt 
geringe Glaubwurdigkeit, z.B. in Form eines niedrigen mul- 
tiplikativen Faktors, in der Verkniipfung der Vorklassifi- 
kationen angenommen wird. Eine hohe Glaubwurdigkeit z.B. 
in Form eines hohen Faktors wiirde dann bei starker Un- 
gleichverteilung angenommen. Die genannten Varianten zur 
Beurteilung der Glaubwurdigkeit der Vorklassif ikationen 
konnen auch kombiniert angewandt werden. 

Die in den vorstehenden Beispielen genannten Auswerteein- 
richtungen und die Datenf usionseinrichtung sind nicht not- 
wendigerweise korperlich separate Einheiten, sondem kon- 
20 nen auch in einer ausreichend leistungsf ahigen digitalen 
Signalverarbeitungseinheit in Form von Untereinheiten oder 
programmierten Steuerbef ehlen realisiert sein. 

Die Erfindung ist besonders vorteilhaft einsetzbar als Na- 
25 vigationssystem in der" StraBenverkehrsleittechnik und in 
der Rollfeldfuhrung auf Flugplatzen. Fur den letztgenann- 
ten Fall konnen sowohl Servicef ahrzeuge als auch dem Roll- 
feld bewegte Flugzeuge mit einem solchen Navigationssystem 
ausgeriistet sein. 



10 
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Patentanspruche 

1. Fahrzeug-Navigationssystem mit einer Radaranordnung 
mit Radar-Auswerteeinrichtungen und einer Bildsenso- 
ranordnung mit Bild-Auswerteeinrichtungen, bei welchen die 
Radaranordnung und die Bildsensoranordnung im wesentlichen 

5 gleiche Raumwinkelbereich mit vorgegebenen Raumwinkel-Auf- 
losungsvermogen ubervachen und die Auswerteeinrichtungen 
jeweils aus den Empf angssignalen der zugeordneten Anord- 
nungen Zielparameter ableiten, und mit einer Datenfusions- 
einrichtung, die die Zielparameter der verschiedenen Aus- 
10 werteeinrichtungen aus einander entsprechenden Raumwinkel- 
ausschnitten verkniipft. 

2. Fahrzeug-Navigationssystem nach Anspruch 1, dadurch 
gekennzeichnet, dafi die Datenfusionseinrichtung einen 

15 Klassif ikator enthalt, der eine Zielklassif ikation durch- 
fiihrt. 
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3. Fahrzeug-Navigationssystem nach Anspruch 2, dadurch 
gekennzeichnet , daB die Auswerteeinrichtungen jeweils ge- 
trennt eine Ziel-Vorklassif ikation durchfiihren und die Da- 
tenf usionseinrichtung die verschiedenen Ziel-Vor- 
5 klassif ikationen verkniipft. 

4 • Fahrzeug-Navigationssystem nach Anspruch 1 Oder An- 
spruch 2, dadurch gekennzeichnet, daB die Radar-Auswer- 
teeinrichtungen und die Bild-Auswerteeinrichtungen jeweils 
10 getrennt Zielparameter ableiten und die Datenf usionsein- 
richtung die getrennt abgeleiteten Zielparameter in einem 
gemeinsaraen Parametervektor zusammenf aBt . 

5. Fahrzeug-Navigationssystem nach einem der Anspruche 1 
15 bis 4, dadurch gekennzeichnet, daB die Bildsensoranordnung 

ein hoheres Raumwinkel-Auf losungsvermogen besitzt als die 
Radaranordnung . 

6. Fahrzeug-Navigationssystem nach einem der Anspruche 1 
20 bis 5, dadurch gekennzeichnet, daB die Radar-Auswer- 

teeinrichtungen Raumwinkelausschnitte mit Zielmeldungen 
vorgeben und die Bild-Auswerteeinrichtungen nur die Emp- 
fangssignale der Bildsensoranordnung aus diesen Raumwin- 
kelausschnitten auswerten. 

25 

7. Signalverarbeitungsverf ahren fur ein Fahrzeug-Na- 
vigationssystem mit einer Radaranordnung und einer Bild- 
sensoranordnung, die iro wesentlichen gleiche Raumwinkelbe- 
reiche iiberwachen, bei welchen aus den Empf angssiignalen 

30 der Radaranordnung einerseits und der Bildsensoranordnung 
anderseits jeweils Zielparameter in vorgegebenen Raumwin- 
kel-Auf losungsvermogen ermittelt und die getrennt ermit- 
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telten Zielparameter aus einander entsprechenden Raumwin- 
kelbereichcn verknupftr werden. 
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Recherchicrter Mindesiprufstofl (KJassifikauonvsyxtem und KJasofikationwymbole ) 

IPK 6 G01C G01S 



RechcTcmerte abcr nicht zum Mindestprulrtoff gehorendc VeroffenUtchungen, soweii dicse unter die rechcrchierten Gebiete (alien 



Wahrcnd dcr internauonaJen Recherche konsulbcrte elektronische DatenbanJc (Name der Datcnbank und evil, vcrwendete Suchbegnffe) 



C. ALS WESENTLICH ANGE5EHENE UNTER LAC EN 



Kale gone* Bczcichnung der VeroffenUichung, soweil erfordcrlich unter Angabe der m Betrachi kommenden Teile 



Betr. Anspruch Nr. 



YOUNG E ET AL: "Improved obstacle 
detection by sensor fusion" » I EE 
COLLOQUIUM ON 'PROMETHEUS AND DRIVE' 
(DIGEST NO. 172) , LONDON, UK, 15 OCT. 
, 1992, LONDON, UK, IEE, UK, PAGE(S) 
6 XP0OO6472O5 
siehe Seite 5 - Seite 6 
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1992 
2/1 ■ 



US 5 296 924 A (DE SAINT BLANCARD MARIE 
ET AL) 22.Marz 1994 
siehe Spalte 4, Zeile 42 - Zeile 64; 
Anspruch 1 

PATENT ABSTRACTS OF JAPAN 

vol. 095, no. 008, 29. September 1995 

& JP 07 125567 A (MITSUBISHI MOTORS 

CORP), 16. Mai 1995, 

siehe Zusammenfassung 
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0 



Weitere VcroffenUichungcn and der Fortsetzung von Feld C zu 
cntnchmen 



0 



Siehe Anhang Patentfamilie 



" Besondere Katcgoncn von angcgcbcncn VcroffenUichungcn 
*A' VerofTenUichung, die den all ge me in en Stand dcr Tcchruk dcfiruert, 
abcr rucht als besonden bedcuts&m anzusehen ist 

*£' al teres Dokumenw das jedoch erst am odcr nach dem international en 
Anmcldcdatum veroffcnUtcht worden ist 

"L* VeroffenUichung, die gccignet ist, eincn Pnoniats anspruch zweifelhaft er- 
schancn zu lasscn, odcr durch die das Verof f end ichungsda turn eincr 
anderen im Rechcrchenbenchl genannlen VeroffenUichung bclcgt wcrden 
soil odcr die a us einem anderen besonderen Grund angegeben ist (wie 
ausgefuhrt) 

'O* VeroffenUichung, die sich auf one mundliche Offenbarong, 

cine Benutzung* cine Ausstdlung odcr anderc Mafinahmen bene hi 

*P" VeroffenUichung, die vor dem international en Anmcldcdatum, abcr nach 
dem bcanspruchten Pnontatsdatum veTOfTcntlicht worden ist 



T" Spatcrc VeroffenUichung. die nach dem intcrnabonaien Anmcldcdatum 
odcr dem Pnontatsdatum veroffenUicht worden isi und nut der 
Anmcldung nicht kollidicrt, sondem nur zumVerstandius des der 
Erfindung zugmndclicgcndcn Prumps oder dcr »hr zugrundehegenden 
Thconc angegeben ist 

"X* VeroffenUichung von besonderer Bcdeutung; die bemnspruchtc Erfindung 
kann allein aufgmnd diescr VeroffenUichung nicht als ncu oder auf 
erfindenscher Taagkeit beruhend betrachtet wcrden 

"Y* VeroffenUichung von besonderer Bcdeutung; die beanspruchte Erfindung 
kann nicht als auf erfindenscher Taugkeit bemhend betrachtct 
wcrden, wenn die VeroffenUichung nut aner oder mehreren anderen 
Veroffentlichungen dieser Kate gone in Verbindung gebracht word und 
diese Verbindung fur anen Fachmann nahclicgcnd ist 

*&* VeroffenUichung, die MitgJied derselben Patentfamilie ist 



Datum des Abschlusses der international en Recherche 



27.Marz 1997 



Name und Pottanschnft der Internationale Rec here hen be horde 
Europatsches Patentamt, P.B. 5818 PatenUaan 2 
NL - 2280 HV Ripwijk 
Tel. ( + 31-70) 340-2040. Tx. 31 651 epo nl, 



Abscndedatum des Internationale n Recherchenbenchts 



1 7. tft. 97 



Bcvollmachogter Bediensteter 



Hunt. J 



INTERN ATI ONALER RECHERCHENBERICHT 



Intc 



onales Aktenzeichen 



PCT/EP 96/05287 



:.(Foa«ttung) ALS WESENTLICH ANC.ESEHENE UNTERI.AGEN 



Kaugone' I Bezeichnung der Verunenllichur*. soweil erlorderlich untrr Angibe der in Betrachl kommenden Tt.le Betr. Anspruch Nr. 



HARVEY R L ET AL: "Biological vision 
models for sensor fusion" , FIRST IEEE 
CONFERENCE ON CONTROL APPLICATIONS 
(CAT.N0.92CH3000-7), DAYTON, OH, USA, 
13-16 SEPT. 1992 , ISBN 0-7803-0047-5, 
1992, NEW YORK, NY, USA, IEEE, USA, 
PAGE(S) 392 - 397 VOL.1 XPOOO647204 
siehe Seite 394, Spalte 2 - Seite 395, 
Spalte 1 

GB 2 289 816 A (MITSUBISHI ELECTRIC CORP) 
29. November 1995 
siehe Anspruch 1 
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INTERN ATI ON ALER RECHERCHlLNBlLKJCnl 

Angaben zu Veroffenlhchungen, die zur sciben Patentfamihe gehoren 


Inien nales 

PCT/EP 


Aktcnzejchcn 1 

96/05287 1 


Im Rechcrchcnbcrichl 
angefuhrtes Patentdokumeru 


Datum der 
Veroffenilichung 


Milglied(er) dcr 
Patentfamilie 


Datum der 
VerbffenUichung 1 


US 5296924 A 
GB 2289816 A 


22-03-94 FR 2676284 A 13-11-92 1 
EP 0512872 A 11-11-92 
JP 5142349 A 08-06-93 

29-11-95 JP 7320199 A 08-12-95 
DE 19518978 A 30-11-95 



